Sau năm 1975, thị xã Cao Bằng là tỉnh lỵ tỉnh Cao Lạng, gồm 4 tiểu khu: Sông Bằng, Sông Hiến, Nội Thị, Nà Phía.

Ngày 27 tháng 12 năm 1978, tỉnh Cao Lạng tách ra thành 2 tỉnh là Cao Bằng và Lạng Sơn, thị xã Cao Bằng trở thành tỉnh lỵ tỉnh Cao Bằng.

Năm 1979, quân đội Trung Quốc tấn công ồ ạt trong chiến tranh biên giới Việt - Trung năm 1979, thị xã Cao Bằng chịu thiệt hại nặng nề.

Ngày 10 tháng 9 năm 1981, giải thể tiểu khu Sông Bằng để thành lập phường Sông Bằng và xã Ngọc Xuân, giải thể tiểu khu Sông Hiến để thành lập phường Sông Hiến và xã Hòa Chung, giải thể tiểu khu Nà Phía để thành lập phường Tân Giang và xã Duyệt Trung, giải thể tiểu khu Nội Thị để thành lập phường Hợp Giang.[3] Thị xã Cao Bằng có 4 phường: Hợp Giang, Sông Bằng, Sông Hiến, Tân Giang và 3 xã: Duyệt Trung, Hòa Chung, Ngọc Xuân.

Ngày 4 tháng 10 năm 2002, chuyển toàn bộ diện tích và dân số của xã Đề Thám thuộc huyện Hòa An về thị xã Cao Bằng quản lý.[4]

Sau khi điều chỉnh địa giới hành chính, thị xã Cao Bằng có 55,2 km² diện tích tự nhiên và 47.272 người, có 8 đơn vị hành chính trực thuộc.

Từ đó đến năm 2010, thị xã Cao Bằng có 4 phường: Hợp Giang, Sông Bằng, Sông Hiến, Tân Giang và 4 xã: Duyệt Trung, Đề Thám, Hòa Chung, Ngọc Xuân.

Ngày 18 tháng 10 năm 2010, thị xã Cao Bằng được công nhận là đô thị loại III.

Ngày 1 tháng 11 năm 2010, Chính phủ ban hành Nghị quyết về việc điều chỉnh mở rộng địa giới hành chính thị xã Cao Bằng. Theo đó, chuyển 3 xã: Chu Trinh, Hưng Đạo, Vĩnh Quang thuộc huyện Hòa An về thị xã Cao Bằng quản lý. Đồng thời chuyển 2 xã Đề Thám và Ngọc Xuân thành 2 phường có tên tương ứng.

Sau khi điều chỉnh địa giới hành chính, thị xã Cao Bằng có 107,6 km² diện tích tự nhiên và 67.415 nhân khẩu, có 11 đơn vị hành chính trực thuộc gồm 6 phường: Đề Thám, Hợp Giang, Ngọc Xuân, Sông Bằng, Sông Hiến, Tân Giang và 5 xã: Chu Trinh, Duyệt Trung, Hòa Chung, Hưng Đạo, Vĩnh Quang.[5]

Ngày 9 tháng 7 năm 2012, chuyển 2 xã Hòa Chung và Duyệt Trung thành 2 phường có tên tương ứng.[6]

Ngày 25 tháng 9 năm 2012, Chính phủ ra Nghị quyết số 60/NQ-CP về việc thành lập thành phố Cao Bằng thuộc tỉnh Cao Bằng.[1]

Thành phố Cao Bằng có 11 đơn vị hành chính cấp xã trực thuộc, bao gồm 8 phường và 3 xã như hiện nay.